Scale-invariant image editing

We introduce a system architecture for image editing which decouples image filtering from the image size, resulting in a system which allows interactive editing with constant response times, independent of image sizes. Scale invariance means filters are designed to allow scaled rendering from a pre-computed image pyramid, approximating the result of the filter when rendered at full resolution and scaled afterwards. Our implementation of the proposed architecture allows interactive editing on all image sizes with minimal hardware requirements, the least powerful device tested with a 300 megapixel image was based on a dual core ARM Cortex A9 clocked at 1Ghz. The architecture is based on a graph based image editing approach, extended by scaled rendering for all filters. The filter graph is exploited to allow automatic configuration of filter properties and conversion between color spaces, which simplifies filter implementation and increases performance. The handling of image data is based on tiles and a tile cache allows to manage memory requirements and increase interactive performance. The implementation is provided as a portable library written in c and can provides interactive editing on device as slow as last generation smartphones, while at the same time exploiting the performance available to current multi core processors, using effective multithreading. In this work we explore both the architectural details that make this possible as well as the properties of common image editing filters, regarding the required scale invariance. We also examine possible approaches that can be followed to implement practical filters for such as system. Finally, the implemented architecture and filters are extensively tested for performance and accuracy and the results are examined

Recording, compression and representation of dense light fields

The concept of light fields allows image based capture of scenes, providing, on a recorded dataset, many of the features available in computer graphics, like simulation of different viewpoints, or change of core camera parameters, including depth of field. Due to the increase in the recorded dimension from two for a regular image to four for a light field recording, previous works mainly concentrate on small or undersampled light field recordings. This thesis is concerned with the recording of a dense light field dataset, including the estimation of suitable sampling parameters, as well as the implementation of the required capture, storage and processing methods. Towards this goal, the influence of an optical system on the, possibly bandunlimited, light field signal is examined, deriving the required sampling rates from the bandlimiting effects of the camera and optics. To increase storage capacity and bandwidth a very fast image compression methods is introduced, providing an order of magnitude faster compression than previous methods, reducing the I/O bottleneck for light field processing. A fiducial marker system is provided for the calibration of the recorded dataset, which provides a higher number of reference points than previous methods, improving camera pose estimation. In conclusion this work demonstrates the feasibility of dense sampling of a large light field, and provides a dataset which may be used for evaluation or as a reference for light field processing tasks like interpolation, rendering and sampling.Das Konzept des Lichtfelds erlaubt eine bildbasierte Erfassung von Szenen und ermöglicht es, auf den erfassten Daten viele Effekte aus der Computergrafik zu berechnen, wie das Simulieren alternativer Kamerapositionen oder die Veränderung zentraler Parameter, wie zum Beispiel der Tiefenschärfe. Aufgrund der enorm vergrößerte Datenmenge die für eine Aufzeichnung benötigt wird, da Lichtfelder im Vergleich zu den zwei Dimensionen herkömmlicher Kameras über vier Dimensionen verfügen, haben frühere Arbeiten sich vor allem mit kleinen oder unterabgetasteten Lichtfeldaufnahmen beschäftigt. Diese Arbeit hat das Ziel eine dichte Aufnahme eines Lichtfeldes vorzunehmen. Dies beinhaltet die Berechnung adäquater Abtastparameter, sowie die Implementierung der benötigten Aufnahme-, Verarbeitungs- und Speicherprozesse. In diesem Zusammenhang werden die bandlimitierenden Effekte des optischen Aufnahmesystems auf das möglicherweise nicht bandlimiterte Signal des Lichtfeldes untersucht und die benötigten Abtastraten davon abgeleitet. Um die Bandbreite und Kapazität des Speichersystems zu erhöhen wird ein neues, extrem schnelles Verfahren der Bildkompression eingeführt, welches um eine Größenordnung schneller operiert als bisherige Methoden. Für die Kalibrierung der Kamerapositionen des aufgenommenen Datensatzes wird ein neues System von sich selbst identifizierenden Passmarken vorgestellt, welches im Vergleich zu früheren Methoden mehr Referenzpunkte auf gleichem Raum zu Verfügung stellen kann und so die Kamerakalibrierung verbessert. Kurz zusammengefasst demonstriert diese Arbeit die Durchführbarkeit der Aufnahme eines großen und dichten Lichtfeldes, und stellt einen entsprechenden Datensatz zu Verfügung. Der Datensatz ist geeignet als Referenz für die Untersuchung von Methoden zur Verarbeitung von Lichtfeldern, sowie für die Evaluation von Methoden zur Interpolation, zur Abtastung und zum Rendern

20 Jahre Bildverarbeitungsforum an der Uni Heidelberg - Bilder müssen für den Computer verständlich gemacht werden

Das Heidelberger Bildverarbeitungsforum ist seit 20 Jahren auf dem Gebiet der Weiterbildung und des Informationsaustauschs zwischen Forschern und Anwendern aktiv. Aus Anlass dieses Jubiläums kamen im April Wissenschaftler sowie Vertreter der Bildverarbeitungsindustrie an der Universität Heidelberg zusammen, um Rückschau zu halten und künftige Entwicklungen zu diskutieren. Campus-TV hat sich aus diesem Anlass in den Labors von Professor Bernd Jähne umgeschaut und kann der Frage nachgehen, was haben Buddha Figuren oder selbstfahrende Autos mit digitaler Bildverarbeitung zu tun